Ανάλυση καλαθιού αγορών

Εισαγωγή

Όταν περιηγούμαστε σε ένα προϊόν σε μια online αγορά (ας πούμε το Amazon), συχνά μας εμφανίζεται μια λίστα με προτεινόμενα προϊόντα. Για παράδειγμα, αφού προσθέσουμε έναν φορητό υπολογιστή στο καλάθι, μπορεί να μας προταθούν ένα ποντίκι, ένα πληκτρολόγιο ή μια θήκη για τον φορητό υπολογιστή. Μια παρόμοια εμπειρία έχουμε σε πλατφόρμες όπως το Netflix ή το Disney Plus. Η παρακολούθηση μιας ταινίας συχνά οδηγεί σε προτάσεις για άλλους τίτλους με συναφή θέματα ή είδη. Αν δούμε την πρώτη ταινία The Lord of the Rings, είναι πιθανό να εμφανιστεί στη συνέχεια το sequel.

Δεν είναι δύσκολο να καταλάβουμε ότι αυτές οι προτάσεις κάθε άλλο παρά τυχαίες είναι. Βασίζονται σε αλγορίθμους που μαθαίνουν από τη συμπεριφορά και τις προτιμήσεις των χρηστών, ώστε να προσφέρουν σχετικές προτάσεις (Schafer, Konstan, & Riedl, 2001· Adomavicius & Tuzhilin, 2005).

Μία από τις πιο διαδεδομένες τεχνικές πίσω από τη δημιουργία τέτοιων προτάσεων είναι η ανάλυση καλαθιού αγορών (Market Basket Analysis, MBA). Η βασική ιδέα είναι απλή: εντοπίζουμε σχέσεις μεταξύ προϊόντων που αγοράζονται συχνά μαζί (Tan, Steinbach, Karpatne, & Kumar, 2019). Σε τεχνικούς όρους, αναζητούμε κανόνες συσχέτισης (association rules), δηλαδή μοτίβα όπως «αν ένας πελάτης αγοράσει το προϊόν A, είναι επίσης πιθανό να αγοράσει το προϊόν B». Αυτοί οι κανόνες βοηθούν τις επιχειρήσεις να κατανοήσουν τη συμπεριφορά των πελατών και, κατά συνέπεια, να βελτιώσουν τις στρατηγικές σταυροειδών πωλήσεων (cross-selling).

Κανόνες συσχέτισης και πιθανότητες

Με απλά λόγια, ένας κανόνας συσχέτισης (association rule) δείχνει ότι η αγορά ενός προϊόντος αυξάνει την πιθανότητα αγοράς ενός άλλου. Για παράδειγμα, αν πολλοί πελάτες που αγοράζουν το προϊόν A αγοράζουν στη συνέχεια και το προϊόν B, μπορούμε να εκφράσουμε αυτή τη σχέση ως εξής:

\[\{ \text{Product A} \} \Rightarrow \{ \text{Product B} \}\]

Αυτό διαβάζεται ως εξής: «Αν αγοραστεί το προϊόν A, τότε είναι πιθανό να αγοραστεί και το προϊόν B». Με άλλα λόγια, η πώληση του προϊόντος A συνεπάγεται την πώληση του προϊόντος B.

Από τη σκοπιά των πιθανοτήτων, οι κανόνες συσχέτισης αναπαριστούν δεσμευμένες πιθανότητες. Αυτό σημαίνει ότι μας ενδιαφέρει η πιθανότητα να συμβεί ένα γεγονός (π.χ. η αγορά του προϊόντος B), δεδομένου ότι έχει ήδη συμβεί ένα άλλο γεγονός (π.χ. η αγορά του προϊόντος A)· συζητήσαμε πώς εφαρμόζονται οι δεσμευμένες πιθανότητες στα εξαρτημένα γεγονότα στο Κεφάλαιο Naive Bayes.

Εδώ, κάθε αγορά θεωρείται ένα γεγονός, και θέλουμε να μάθουμε πώς η αγορά ενός προϊόντος επηρεάζει την πιθανότητα αγοράς ενός άλλου. Μαθηματικά, αυτό γράφεται ως εξής:

\[P(B \mid A)\]

Εκτιμούμε αυτή την πιθανότητα ελέγχοντας πόσο συχνά αγοράζεται το προϊόν B όταν έχει αγοραστεί το προϊόν A. Για παράδειγμα, αν 8 στους 10 πελάτες που αγοράζουν το προϊόν A αγοράσουν στη συνέχεια το προϊόν B, εκτιμούμε τη (δεσμευμένη) πιθανότητα «B δεδομένου του A» ως 80%.

Πέρα από τις αγορές

Στο μεγαλύτερο μέρος αυτού του κεφαλαίου αναφερόμαστε σε «αγορές», ώστε να γίνει το νόημα σαφές στον αναγνώστη. Ωστόσο, αυστηρά μιλώντας, μπορεί να αναφερόμαστε σε «επιλογές» ή «προσθήκες στο καλάθι»: όταν προσθέτουμε οποιοδήποτε προϊόν στο ηλεκτρονικό μας καλάθι, μας εμφανίζονται αμέσως προτάσεις, ακόμη και πριν ολοκληρωθεί πραγματικά η αγορά μας. Επιπλέον, ενθαρρύνουμε τον αναγνώστη να σκεφτεί πέρα από την ανάλυση ενός «καλαθιού αγορών» και να εξετάσει καινοτόμες εφαρμογές του ίδιου αλγορίθμου· αυτή είναι μία από τις ομορφιές (αλλά και από τις χρησιμότητες) της επιστήμης δεδομένων.

Σε πολλές περιπτώσεις, όμως, πρέπει να εξετάσουμε πιο σύνθετες καταστάσεις, όπως το πόσο πιθανό είναι ένας πελάτης να αγοράσει το προϊόν C, δεδομένου ότι έχει ήδη αγοράσει τόσο το προϊόν A όσο και το προϊόν B:

\[\{ \text{Product A, Product B} \} \Rightarrow \{ \text{Product C} \}\]

\[P(C \mid A, B)\]

Καθώς αρχίζουμε να εξετάζουμε συνδυασμούς πολλών προϊόντων, ο αριθμός των πιθανοτήτων αυξάνεται δραματικά. Για παράδειγμα, αν ένα κατάστημα προσφέρει 1,000 διαφορετικά προϊόντα, υπάρχουν 499,500 μοναδικά ζεύγη προϊόντων, και ακόμη περισσότεροι συνδυασμοί όταν εξετάζουμε τρία ή περισσότερα προϊόντα. Η ανάλυση κάθε πιθανού συνδυασμού θα ήταν υπολογιστικά συντριπτική και περιττή, αφού πολλοί συνδυασμοί προϊόντων είναι άσχετοι (για παράδειγμα, είναι μάλλον απίθανο να επιλεγούν φορητοί υπολογιστές και ποδήλατα στην ίδια συναλλαγή αγοράς).

Για να αντιμετωπίσουμε αυτή την πολυπλοκότητα, βασιζόμαστε σε έξυπνους αλγορίθμους, σχεδιασμένους να φιλτράρουν τον θόρυβο και να εστιάζουν μόνο σε ουσιαστικούς συνδυασμούς προϊόντων. Ένας από τους πιο δημοφιλείς αλγορίθμους για αυτή την εργασία είναι ο αλγόριθμος Apriori (Agrawal & Srikant, 1994), την προσέγγιση του οποίου θα χρησιμοποιήσουμε σε αυτό το κεφάλαιο.

Πριν προχωρήσουμε, είναι σημαντικό να διακρίνουμε την ανάλυση καλαθιού αγορών από τον αλγόριθμο Apriori. Η ανάλυση καλαθιού αγορών είναι μια τεχνική εξόρυξης δεδομένων, με στόχο την αποκάλυψη κανόνων συσχέτισης σε δεδομένα συναλλαγών. Ο αλγόριθμος Apriori, από την άλλη πλευρά, είναι ένα εργαλείο μηχανικής μάθησης που μας βοηθά να βρίσκουμε αποτελεσματικά τέτοιες συσχετίσεις, υπολογίζοντας τις αντίστοιχες πιθανότητες και φιλτράροντας τα αποτελέσματα. Με λίγα λόγια, ο Apriori είναι ένας τρόπος υλοποίησης της ανάλυσης καλαθιού αγορών στην πράξη.

Ορολογία και υποθέσεις

Πριν εμβαθύνουμε στον αλγόριθμο Apriori στην R, πρέπει να διευκρινίσουμε ορισμένους βασικούς όρους και υποθέσεις που χρησιμοποιούνται στην ανάλυση καλαθιού αγορών. Φανταστείτε ότι παρατηρείτε πελάτες στην ουρά του ταμείου ενός σούπερ μάρκετ. Κάθε άτομο κρατά ένα καλάθι γεμάτο με προϊόντα που έχει επιλέξει. Ορισμένα καλάθια μπορεί να περιέχουν παρόμοια προϊόντα, ενώ άλλα φαίνονται εντελώς διαφορετικά. Σε αυτό το πλαίσιο, το περιεχόμενο ενός καλαθιού αναπαριστά αυτό που ονομάζουμε itemset (σύνολο προϊόντων), το οποίο είναι απλώς μια ομάδα προϊόντων που αγοράζονται ταυτόχρονα (Agrawal, Imieliński, & Swami, 1993).

Στην ανάλυση καλαθιού αγορών, χρησιμοποιούμε επίσης τον όρο συναλλαγή (transaction). Μια συναλλαγή αντιστοιχεί σε ένα μεμονωμένο γεγονός αγορών, συνήθως στο σύνολο των προϊόντων που αγοράζει ένας πελάτης σε μία φορά. Στο παράδειγμα του σούπερ μάρκετ, κάθε καλάθι είναι μία συναλλαγή. Έτσι, ο αριθμός των συναλλαγών ισούται με τον αριθμό των καλαθιών που παρατηρούμε. Αυτή η ορολογία είναι σημαντική, επειδή στην πράξη εργαζόμαστε με δεδομένα συναλλαγών: ένα σύνολο δεδομένων όπου κάθε γραμμή αντιστοιχεί σε μία συναλλαγή (ένα καλάθι), και ο αλγόριθμος Apriori αναζητά σε όλες τις συναλλαγές για να βρει συχνά itemsets και κανόνες συσχέτισης.

Στη συνέχεια, ας εστιάσουμε στις κύριες υποθέσεις πίσω από την ανάλυση καλαθιού αγορών. Αν και θα μπορούσαμε να παρακάμψουμε αυτές τις υποθέσεις ανάλογα με το ερώτημα που θέλουμε να θέσουμε, μας βοηθούν να ξεκινήσουμε και να ξεκαθαρίσουμε τα βασικά και, ταυτόχρονα, διαμορφώνουν τον τρόπο με τον οποίο ερμηνεύουμε και επεξεργαζόμαστε τα δεδομένα:

  • Η ποσότητα δεν έχει σημασία: Δεν λαμβάνουμε υπόψη πόσα τεμάχια ενός προϊόντος αγοράζει ένας πελάτης. Είτε κάποιος αγοράσει ένα κουτί γάλα είτε τρία, το αντιμετωπίζουμε με τον ίδιο τρόπο· μας ενδιαφέρει μόνο αν το προϊόν αγοράστηκε (ή όχι).

  • Όλα τα προϊόντα αντιμετωπίζονται ισότιμα: Κάθε προϊόν θεωρείται ξεχωριστό, ακόμη κι αν δύο προϊόντα είναι πολύ παρόμοια. Για παράδειγμα, δύο διαφορετικές μάρκες οδοντόκρεμας αντιμετωπίζονται όπως δύο εντελώς διαφορετικά προϊόντα, όπως το ψωμί και η οδοντόκρεμα· δεν ομαδοποιούμε τα προϊόντα με βάση το πόσο όμοια είναι.

  • Οι πελάτες είναι ανοιχτοί σε προτάσεις: Όταν προτείνουμε το προϊόν B επειδή ένας πελάτης έχει αγοράσει το προϊόν A, υποθέτουμε ότι ο πελάτης δεν έχει ήδη απορρίψει το προϊόν B. Με άλλα λόγια, ο κανόνας συσχέτισης \(\{A\} \Rightarrow \{B\}\) έχει αξία μόνο αν ο πελάτης είναι ακόμη ανοιχτός στην αγορά του B. Αυτή η υπόθεση είναι απαραίτητη για την αποτελεσματικότητα της ανάλυσης καλαθιού αγορών στα πραγματικά συστήματα συστάσεων.

Η κατανόηση αυτών των υποθέσεων μάς βοηθά να ερμηνεύουμε καλύτερα τα αποτελέσματα που παίρνουμε από τον αλγόριθμο και μας δίνει μια σταθερή βάση πριν προχωρήσουμε στην υλοποίηση.

Εφαρμογή του αλγορίθμου Apriori στην R

Για να εφαρμόσουμε τον αλγόριθμο Apriori, ξεκινάμε εισάγοντας το σύνολο δεδομένων movies και φορτώνοντας το package arules. Το σύνολο δεδομένων movies είναι διαθέσιμο στο GitHub και αποτελείται από 5 στήλες (πεδία) και 17,575 γραμμές (ταινίες) που παρακολούθησαν 100 χρήστες σε μια online πλατφόρμα. Οι 5 στήλες είναι οι εξής:

  • User_ID: Ο αριθμός ταυτότητας του ατόμου που παρακολούθησε την ταινία

  • Movie_ID: Ο αριθμός ταυτότητας της ταινίας

  • Title: Ο τίτλος της ταινίας

  • Year: Το έτος κυκλοφορίας της ταινίας

  • Genres: Η κατηγορία της ταινίας

Φορτώνουμε το package arules, μαζί με το package tidyverse που θα χρειαστούμε αργότερα, και το σύνολο δεδομένων movies με τον ακόλουθο κώδικα:

# Βιβλιοθήκες
library(arules)
library(tidyverse)

# Εισαγωγή του movies
movies <- read.csv("https://raw.githubusercontent.com/Datakortex/Datasets/refs/heads/main/Datacamp_public_datasets/movies.csv")

Οι βασικές πληροφορίες που χρειαζόμαστε για την ανάλυση καλαθιού αγορών είναι η στήλη που ταυτοποιεί τον πελάτη και η στήλη που περιέχει τα προϊόντα που αγοράστηκαν. Αυτές είναι οι κύριες μεταβλητές που χρησιμοποιούνται για τη δημιουργία των κανόνων συσχέτισης. Αφού εισαγάγουμε τα δεδομένα, χρησιμοποιούμε τη συνάρτηση split() για να δημιουργήσουμε μια λίστα με ένα στοιχείο ανά χρήστη (User_ID), το καθένα από τα οποία περιέχει τους τίτλους (Title) που παρακολούθησε αυτός ο χρήστης. Μετά τη συνάρτηση split(), μετατρέπουμε τη λίστα που δημιουργήσαμε σε μορφή "transactions" με τη συνάρτηση as():

# Εφαρμογή της συνάρτησης split() στο movies
movies_list <- split(movies$Title, movies$User_ID)

# Μετατροπή του movies_list σε transactions
movies_tr <- as(movies_list, "transactions")
Warning in asMethod(object): removing duplicated items in
transactions
# Εκτύπωση της δομής του movies_tr
str(movies_tr)
Formal class 'transactions' [package "arules"] with 3 slots
  ..@ data       :Formal class 'ngCMatrix' [package "Matrix"] with 5 slots
  .. .. ..@ i       : int [1:19048] 16 19 21 26 27 28 29 30 31 37 ...
  .. .. ..@ p       : int [1:101] 0 987 1127 1536 1599 2027 2065 2190 2217 2567 ...
  .. .. ..@ Dim     : int [1:2] 4382 100
  .. .. ..@ Dimnames:List of 2
  .. .. .. ..$ : NULL
  .. .. .. ..$ : NULL
  .. .. ..@ factors : list()
  ..@ itemInfo   :'data.frame': 4382 obs. of  1 variable:
  .. ..$ labels: chr [1:4382] "'burbs, The" "(500) Days of Summer" "(Untitled)" "*batteries not included" ...
  ..@ itemsetInfo:'data.frame': 100 obs. of  1 variable:
  .. ..$ transactionID: chr [1:100] "1323" "1913" "2029" "3699" ...

Κατά την εκτέλεση του κώδικα, μπορεί να εμφανιστεί μια προειδοποίηση που αναφέρει ότι αφαιρέθηκαν διπλότυπα προϊόντα (τίτλοι ταινιών στην περίπτωσή μας). Αυτό συμβαίνει επειδή χρησιμοποιούμε τη στήλη Title αντί για τη στήλη Movie_ID. Παρόλο που ορισμένες ταινίες έχουν τον ίδιο τίτλο, είναι στην πραγματικότητα διαφορετικές ταινίες. Για παράδειγμα, το King Kong έχει κυκλοφορήσει πολλές φορές, το 1933, το 1976 και το 2005, και κάθε εκδοχή έχει διαφορετικό Movie_ID. Χρησιμοποιώντας τη στήλη Title, αντιμετωπίζουμε όλες τις ταινίες με το ίδιο όνομα σαν να είναι ίδιες, ενώ δεν είναι. Το κάνουμε αυτό για λόγους απλότητας και καλύτερης αναγνωσιμότητας των αποτελεσμάτων του αλγορίθμου Apriori, καθώς είναι πιο εύκολο να ερμηνεύσουμε τα αποτελέσματα (από ανθρώπινη σκοπιά) όταν βλέπουμε αναγνωρίσιμα ονόματα ταινιών αντί για αριθμητικά IDs. Ωστόσο, αυτό σημαίνει ότι, αν ένας πελάτης έχει παρακολουθήσει τόσο την εκδοχή του 1933 όσο και την εκδοχή του 2005 του King Kong, ο αλγόριθμος το αντιμετωπίζει ως διπλότυπο και διατηρεί μόνο μία από τις δύο.

Για να κατανοήσουμε καλύτερα το αποτέλεσμά μας, μπορούμε να χρησιμοποιήσουμε τη συνάρτηση summary() ώστε να πάρουμε μια επισκόπηση του περιεχομένου του:

# Σύνοψη
summary(movies_tr)
transactions as itemMatrix in sparse format with
 100 rows (elements/itemsets/transactions) and
 4382 columns (items) and a density of 0.04346874 

most frequent items:
              Matrix, The           American Beauty 
                       60                        57 
               Fight Club Silence of the Lambs, The 
                       54                        50 
Shawshank Redemption, The                   (Other) 
                       48                     18779 

element (itemset/transaction) length distribution:
sizes
  20   22   23   24   25   26   27   28   35   36   38   39   40 
   2    1    3    3    1    2    2    1    1    1    1    2    1 
  43   46   47   48   50   53   54   55   58   59   62   63   66 
   1    1    1    1    1    3    1    1    1    1    1    1    1 
  68   69   72   73   76   77   81   84   89   93   99  118  119 
   1    1    1    2    1    1    1    2    3    1    1    1    2 
 125  126  128  131  134  136  140  145  151  153  165  177  181 
   2    1    1    1    1    1    2    2    1    1    1    1    1 
 195  197  198  199  206  228  231  232  236  240  252  263  267 
   1    1    1    1    1    1    1    1    1    1    2    1    1 
 295  325  350  355  376  378  390  409  428  436  585  985  987 
   1    1    1    1    1    1    1    1    1    1    1    1    1 
1351 1436 1493 
   1    1    1 

   Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
   20.0    49.5    96.0   190.5   211.5  1493.0 

includes extended item information - examples:
                labels
1          'burbs, The
2 (500) Days of Summer
3           (Untitled)

includes extended transaction information - examples:
  transactionID
1          1323
2          1913
3          2029

Υπάρχουν 100 συναλλαγές (χρήστες) και 4382 προϊόντα (ταινίες). Οι ταινίες που παρακολουθήθηκαν συχνότερα είναι οι The Matrix, American Beauty, Fight Club και The Silence of the Lambs. Το The Matrix το παρακολούθησαν 60 χρήστες, ενώ το American Beauty 57. Παρακάτω βλέπουμε επίσης την κατανομή των συναλλαγών (ή πόσο «μεγάλο» ήταν κάθε «καλάθι»). Για παράδειγμα, οι δύο λιγότερο ενεργοί χρήστες παρακολούθησαν 20 ταινίες, ενώ ο πιο ενεργός χρήστης παρακολούθησε 1493.

Οπτικοποίηση των συχνοτήτων

Το package arules παρέχει τη συνάρτηση itemFrequencyPlot(), η οποία είναι χρήσιμη για την απεικόνιση των ταινιών που παρακολουθήθηκαν συχνότερα (π.χ. των 10 κορυφαίων). Ωστόσο, μπορούμε να κάνουμε το ίδιο είδος διερευνητικής ανάλυσης δεδομένων χρησιμοποιώντας απευθείας το ggplot2 στο αρχικό data frame.

Για να κατασκευάσουμε αυτό το είδος διαγράμματος, μπορούμε να στηριχθούμε στις μεθόδους διαχείρισης και απεικόνισης δεδομένων που παρουσιάστηκαν στο Κεφάλαιο Διαχείριση Δεδομένων και στο Κεφάλαιο Απεικόνιση Δεδομένων με το ggplot2. Ξεκινάμε χρησιμοποιώντας τη συνάρτηση count() με το όρισμα sort = TRUE, ώστε να υπολογίσουμε τον αριθμό των χρηστών ανά ταινία και να ταξινομήσουμε τα αποτελέσματα σε φθίνουσα σειρά, στη συνέχεια εφαρμόζουμε τη slice() για να κρατήσουμε μόνο τις 10 κορυφαίες ταινίες και, τέλος, απεικονίζουμε τα αποτελέσματα με την ggplot() και τη geom_col(), αντιστοιχίζοντας τις συχνότητες στον άξονα y:

# Διάγραμμα της συχνότητας των ταινιών
movies %>%
  count(Title, sort = TRUE) %>%
  slice(1:10) %>%
  ggplot(aes(x = Title, y = n)) +
  geom_col(color = "black",
           fill = "skyblue") +
  labs(x = "",
       y = "Number of Users")

Εικόνα 20.1: Οι 10 κορυφαίες ταινίες με βάση τον αριθμό των χρηστών (αρχικό διάγραμμα, δυσανάγνωστο).

Παρόλο που αυτό το διάγραμμα περιέχει τη σωστή πληροφορία, δεν είναι εύκολο να ερμηνευτεί. Πρώτον, παρόλο που το tibble είναι ταξινομημένο, οι ταινίες στον άξονα x εμφανίζονται με αλφαβητική σειρά και όχι με βάση τη συχνότητά τους. Δεύτερον, οι τίτλοι των ταινιών επικαλύπτονται, κάτι που τους κάνει δυσανάγνωστους.

Για να αντιμετωπίσουμε το πρώτο ζήτημα, μπορούμε να χρησιμοποιήσουμε τη συνάρτηση fct_reorder() από το package forcats (μέρος του tidyverse). Αυτή η συνάρτηση αναδιατάσσει μια κατηγορική μεταβλητή με βάση τις τιμές μιας άλλης μεταβλητής. Στην περίπτωσή μας, αναδιατάσσουμε τη Title με βάση τις συχνότητες (n), κάτι που καθορίζει τη σειρά στο διάγραμμα.

Για το δεύτερο ζήτημα, μπορούμε να χρησιμοποιήσουμε τη συνάρτηση coord_flip() ώστε να εναλλάξουμε τους άξονες x και y. Αυτό είναι ιδιαίτερα χρήσιμο όταν δουλεύουμε με μεγάλες ετικέτες κατηγοριών, καθώς κάνει το διάγραμμα πιο ευανάγνωστο.

Με αυτές τις προσαρμογές, το διάγραμμα γίνεται πολύ πιο σαφές:

# Διάγραμμα της συχνότητας των ταινιών
movies %>%
  count(Title, sort = TRUE) %>%
  slice(1:10) %>%
  mutate(Title = fct_reorder(.f = Title, .x = n)) %>%
  ggplot(aes(x = Title, y = n)) +
  geom_col(color = "black",
           fill = "skyblue") +
  labs(x = "",
       y = "Number of Users") +
  coord_flip()

Εικόνα 20.2: Οι 10 κορυφαίες ταινίες με βάση τον αριθμό των χρηστών (αναδιατεταγμένο και με εναλλαγή αξόνων).

Αυτό το διάγραμμα είναι τώρα πολύ πιο ευανάγνωστο. Η ταινία με τις περισσότερες προβολές είναι το The Matrix, με 60 χρήστες, και ακολουθούν το American Beauty και το Fight Club. Επιπλέον, τα The Sixth Sense, Schindler’s List και Back to the Future τα παρακολούθησε ο ίδιος αριθμός χρηστών.

Με την ίδια προσέγγιση, μπορούμε να δημιουργήσουμε παρόμοια διαγράμματα συχνοτήτων για άλλες πτυχές του συνόλου δεδομένων, όπως τον αριθμό των ταινιών που παρακολούθησε κάθε χρήστης.

Support και confidence

Δύο κύρια χαρακτηριστικά καθοδηγούν την ανάλυση καλαθιού αγορών: πόσο συχνά εμφανίζεται ένα προϊόν σε ολόκληρο το σύνολο δεδομένων και πόσο συχνά εμφανίζεται ένα προϊόν αφού έχει ήδη επιλεγεί ένα άλλο. Αυτά είναι γνωστά ως support (υποστήριξη) και confidence (εμπιστοσύνη) αντίστοιχα.

Το support ορίζεται ως η συχνότητα με την οποία εμφανίζεται ένα itemset σε όλες τις συναλλαγές (πόσο «υποστηρίζεται»). Με απλά λόγια, το support μάς λέει σε πόσα καλάθια εμφανίζεται ένα προϊόν ή ένας συνδυασμός προϊόντων:

\[\text{Support(X)} = \frac{\text{Frequency(X)}}{N}\]

όπου \(X\) είναι ένα itemset, \(\text{Frequency}(X)\) είναι ο αριθμός των συναλλαγών στις οποίες εμφανίζεται το \(X\), και \(N\) είναι ο συνολικός αριθμός των συναλλαγών (ή των πελατών). Στην ουσία, το support αναπαριστά την πιθανότητα να εμφανιστεί το itemset \(X\) σε ένα τυχαία επιλεγμένο καλάθι:

\[\text{Support(X)} = P(X)\]

Το confidence μετρά την ισχύ ενός κανόνα συσχέτισης και ορίζεται ως το support του συνδυασμένου itemset (\(X\), \(Y\)) διαιρεμένο με το support του \(X\) μόνο του (πόση εμπιστοσύνη έχουμε ότι επιλέγεται και το προϊόν \(Y\), δεδομένου ότι έχει επιλεγεί το προϊόν \(X\)). Με άλλα λόγια, είναι η δεσμευμένη πιθανότητα να αγοραστεί το προϊόν \(Y\), δεδομένου ότι αγοράστηκε το προϊόν \(X\).

\[\text{Confidence}(X \to Y) = \frac{\text{Support}(X, Y)}{\text{Support}(X)} = \frac{\text{Frequency}(X, Y)}{\text{Frequency}(X)}\]

Μαθηματικά, έχουμε:

\[\text{Confidence}(X \to Y) = P(Y|X)\]

Σημειώστε ότι το confidence έχει κατεύθυνση: το confidence του \(X \to Y\) είναι διαφορετικό από εκείνο του \(Y \to X\), καθώς ο παρονομαστής διαφέρει.

Τόσο το support όσο και το confidence κυμαίνονται μεταξύ 0 και 1, καθώς αναπαριστούν πιθανότητες. Αποτελούν τη βάση για τη δημιουργία κανόνων συσχέτισης, οι οποίοι φιλτράρονται με τιμές κατωφλίου που ορίζονται εκ των προτέρων. Για παράδειγμα, μπορεί να επιλέξουμε να αγνοήσουμε κανόνες που περιλαμβάνουν προϊόντα που αγοράζονται σπάνια, ορίζοντας ένα ελάχιστο support. Με αυτόν τον τρόπο, το support και το confidence λειτουργούν επίσης ως υπερπαράμετροι στην ανάλυση καλαθιού αγορών.

Για να δείξουμε πώς λειτουργεί αυτό, θα χρησιμοποιήσουμε τη συνάρτηση apriori() από το package arules στην R. Αυτή η συνάρτηση απαιτεί ένα object δεδομένων συναλλαγών (movies_tr) και μια λίστα παραμέτρων που ορίζουν τις συνθήκες της ανάλυσής μας. Ας υποθέσουμε ότι θέλουμε να βρούμε όλα τα itemsets με support τουλάχιστον 30% που περιέχουν τουλάχιστον τρία προϊόντα (ή ταινίες στο παράδειγμά μας). Επειδή μας ενδιαφέρει η συχνότητα αυτών των itemsets και όχι ακόμη οι κανόνες συσχέτισης καθαυτοί, ορίζουμε την παράμετρο target ίση με "frequent itemsets". Με τον ακόλουθο κώδικα, παράγουμε ένα object που ονομάζεται itemsets:

# Εφαρμογή του αλγορίθμου Apriori - Συχνότητα προϊόντων (support)
itemsets <- apriori(movies_tr,
                    parameter = list(
                      support = 0.3,
                      minlen = 3,
                      target = "frequent itemsets"))

Για να εξετάσουμε τα αποτελέσματα, χρησιμοποιούμε τη συνάρτηση inspect():

# Εξέταση των αποτελεσμάτων
inspect(itemsets)
     items                                                                     support count
[1]  {Lord of the Rings: The Fellowship of the Ring, The,                                   
      Lord of the Rings: The Return of the King, The,                                       
      Lord of the Rings: The Two Towers, The}                                     0.35    35
[2]  {Lord of the Rings: The Return of the King, The,                                       
      Lord of the Rings: The Two Towers, The,                                               
      Matrix, The}                                                                0.31    31
[3]  {Lord of the Rings: The Fellowship of the Ring, The,                                   
      Lord of the Rings: The Return of the King, The,                                       
      Matrix, The}                                                                0.31    31
[4]  {Lord of the Rings: The Fellowship of the Ring, The,                                   
      Lord of the Rings: The Two Towers, The,                                               
      Matrix, The}                                                                0.33    33
[5]  {Jurassic Park,                                                                        
      Matrix, The,                                                                          
      Silence of the Lambs, The}                                                  0.30    30
[6]  {Matrix, The,                                                                          
      Star Wars: Episode IV - A New Hope,                                                   
      Star Wars: Episode V - The Empire Strikes Back}                             0.34    34
[7]  {Fight Club,                                                                           
      Lord of the Rings: The Fellowship of the Ring, The,                                   
      Matrix, The}                                                                0.30    30
[8]  {American Beauty,                                                                      
      Pulp Fiction,                                                                         
      Silence of the Lambs, The}                                                  0.31    31
[9]  {American Beauty,                                                                      
      Fight Club,                                                                           
      Pulp Fiction}                                                               0.30    30
[10] {American Beauty,                                                                      
      Matrix, The,                                                                          
      Pulp Fiction}                                                               0.30    30
[11] {Pulp Fiction,                                                                         
      Shawshank Redemption, The,                                                            
      Silence of the Lambs, The}                                                  0.31    31
[12] {Fight Club,                                                                           
      Pulp Fiction,                                                                         
      Silence of the Lambs, The}                                                  0.34    34
[13] {Matrix, The,                                                                          
      Pulp Fiction,                                                                         
      Silence of the Lambs, The}                                                  0.32    32
[14] {Fight Club,                                                                           
      Matrix, The,                                                                          
      Pulp Fiction}                                                               0.30    30
[15] {Back to the Future,                                                                   
      Matrix, The,                                                                          
      Raiders of the Lost Ark (Indiana Jones and the Raiders of the Lost Ark)}    0.30    30
[16] {Forrest Gump,                                                                         
      Matrix, The,                                                                          
      Silence of the Lambs, The}                                                  0.31    31
[17] {Back to the Future,                                                                   
      Matrix, The,                                                                          
      Star Wars: Episode IV - A New Hope}                                         0.31    31
[18] {Fight Club,                                                                           
      Matrix, The,                                                                          
      Silence of the Lambs, The}                                                  0.30    30
[19] {Lord of the Rings: The Fellowship of the Ring, The,                                   
      Lord of the Rings: The Return of the King, The,                                       
      Lord of the Rings: The Two Towers, The,                                               
      Matrix, The}                                                                0.31    31

Η στήλη items περιέχει τα διαφορετικά itemsets που βρέθηκαν (π.χ. τις τρεις ταινίες Lord of the Rings), μαζί με τις στήλες support και count. Αυτές αναπαριστούν, αντίστοιχα, το support (δηλαδή την πιθανότητα) και τη συχνότητα (δηλαδή την απόλυτη συχνότητα) κάθε itemset. Στην ουσία, η στήλη count είναι απλώς ο αριθμητής στον υπολογισμό του support. Σημειώστε ότι η συνάρτηση inspect() δεν παράγει tibble, οπότε δεν μπορούμε να χρησιμοποιήσουμε εύκολα αυτό το αποτέλεσμα για περαιτέρω ανάλυση ή απεικόνιση.

Επειδή έχουμε 100 χρήστες στο σύνολο δεδομένων μας, είναι εύκολο να επιβεβαιώσουμε ότι το support υπολογίζεται διαιρώντας τη συχνότητα ενός itemset με τον συνολικό αριθμό των χρηστών. Για παράδειγμα, το itemset με το υψηλότερο support είναι η τριλογία Lord of the Rings: 35 χρήστες (ή το 35% όλων των χρηστών του συνόλου δεδομένων μας) παρακολούθησαν και τις τρεις ταινίες. Αν και είναι διαισθητικό ότι αυτές οι τρεις ταινίες θα εμφανίζονταν συχνά μαζί, δεν έχουμε δημιουργήσει ακόμη κανέναν κανόνα (συσχέτισης). Έτσι, δεν γνωρίζουμε ακόμη, για παράδειγμα, την πιθανότητα ένας χρήστης που παρακολούθησε την πρώτη ταινία να έχει παρακολουθήσει και τη δεύτερη.

Για να δημιουργήσουμε κανόνες συσχέτισης, αλλάζουμε την παράμετρο target σε "rules". Ας ορίσουμε επίσης το όρισμα conf (το οποίο αναφέρεται στο ελάχιστο απαιτούμενο confidence) ίσο με 0.9, ώστε να αναδείξουμε μόνο τις ισχυρές σχέσεις:

# Εφαρμογή του αλγορίθμου Apriori - Κανόνες
rules_movies <- apriori(movies_tr,
                   parameter = list(
                     support = 0.3,
                     conf = 0.9,
                     minlen = 3,
                     target = "rules"))

Το object που δημιουργήσαμε (rules_movies) περιέχει όλους τους πιθανούς κανόνες συσχέτισης. Παρόλο που θα μπορούσαμε να χρησιμοποιήσουμε τη συνάρτηση inspect() για να δούμε το αποτέλεσμα, αυτή δεν επιστρέφει data frame. Ωστόσο, είναι προτιμότερο να έχουμε το αποτέλεσμα σε μορφή data frame, καθώς μας επιτρέπει να αναλύσουμε τους κανόνες πιο αποτελεσματικά, να αποφασίσουμε ποιους θα κρατήσουμε και να κάνουμε περαιτέρω τροποποιήσεις, αν χρειαστεί.

Θέλουμε οι δύο πρώτες στήλες να εμφανίζονται με βάση τη διατύπωση: «Αν ο πελάτης επιλέξει το itemset \(X\) {Στήλη 1}, τότε ο πελάτης θα επιλέξει το itemset \(Y\) {Στήλη 2}». Με βάση αυτή την ερμηνεία, το itemset \(X\) πρέπει να εμφανίζεται στην αριστερή πλευρά (lhs) και το itemset \(Y\) στη δεξιά πλευρά (rhs) ενός data frame δύο στηλών. Για να εξαγάγουμε αυτές τις στήλες από το object rules_movies, χρησιμοποιούμε τις συναρτήσεις labels(), lhs() και rhs() ως εξής:

# Εξαγωγή του itemset X
itemset_X <- labels(lhs(rules_movies))

# Εξαγωγή του itemset Y
itemset_Y <- labels(rhs(rules_movies))

# Εκτύπωση του itemset_X
itemset_X
 [1] "{Lord of the Rings: The Return of the King, The,Lord of the Rings: The Two Towers, The}"                        
 [2] "{Lord of the Rings: The Fellowship of the Ring, The,Lord of the Rings: The Return of the King, The}"            
 [3] "{Lord of the Rings: The Fellowship of the Ring, The,Lord of the Rings: The Two Towers, The}"                    
 [4] "{Lord of the Rings: The Return of the King, The,Matrix, The}"                                                   
 [5] "{Lord of the Rings: The Two Towers, The,Matrix, The}"                                                           
 [6] "{Lord of the Rings: The Return of the King, The,Matrix, The}"                                                   
 [7] "{Lord of the Rings: The Two Towers, The,Matrix, The}"                                                           
 [8] "{Jurassic Park,Silence of the Lambs, The}"                                                                      
 [9] "{Star Wars: Episode IV - A New Hope,Star Wars: Episode V - The Empire Strikes Back}"                            
[10] "{Matrix, The,Star Wars: Episode V - The Empire Strikes Back}"                                                   
[11] "{Fight Club,Pulp Fiction}"                                                                                      
[12] "{Fight Club,Silence of the Lambs, The}"                                                                         
[13] "{Back to the Future,Raiders of the Lost Ark (Indiana Jones and the Raiders of the Lost Ark)}"                   
[14] "{Forrest Gump,Silence of the Lambs, The}"                                                                       
[15] "{Back to the Future,Star Wars: Episode IV - A New Hope}"                                                        
[16] "{Lord of the Rings: The Return of the King, The,Lord of the Rings: The Two Towers, The,Matrix, The}"            
[17] "{Lord of the Rings: The Fellowship of the Ring, The,Lord of the Rings: The Return of the King, The,Matrix, The}"
[18] "{Lord of the Rings: The Fellowship of the Ring, The,Lord of the Rings: The Two Towers, The,Matrix, The}"        
# Εκτύπωση του itemset_Y
itemset_Y
 [1] "{Lord of the Rings: The Fellowship of the Ring, The}"
 [2] "{Lord of the Rings: The Two Towers, The}"            
 [3] "{Lord of the Rings: The Return of the King, The}"    
 [4] "{Lord of the Rings: The Two Towers, The}"            
 [5] "{Lord of the Rings: The Return of the King, The}"    
 [6] "{Lord of the Rings: The Fellowship of the Ring, The}"
 [7] "{Lord of the Rings: The Fellowship of the Ring, The}"
 [8] "{Matrix, The}"                                       
 [9] "{Matrix, The}"                                       
[10] "{Star Wars: Episode IV - A New Hope}"                
[11] "{Silence of the Lambs, The}"                         
[12] "{Pulp Fiction}"                                      
[13] "{Matrix, The}"                                       
[14] "{Matrix, The}"                                       
[15] "{Matrix, The}"                                       
[16] "{Lord of the Rings: The Fellowship of the Ring, The}"
[17] "{Lord of the Rings: The Two Towers, The}"            
[18] "{Lord of the Rings: The Return of the King, The}"    

Τώρα έχουμε δύο διανύσματα: το itemset_X, που περιέχει τα itemsets της αριστερής πλευράς, και το itemset_Y, που περιέχει τα αντίστοιχα itemsets της δεξιάς πλευράς. Κάθε εγγραφή αναπαριστά έναν κανόνα της μορφής «αν X, τότε Y».

Η διαχείριση των κομμάτων στους τίτλους των ταινιών

Επειδή ορισμένοι τίτλοι ταινιών περιέχουν κόμματα, τα αποτελέσματα μπορεί να φαίνονται μπερδεμένα. Αν χρειαστεί, μπορούμε να χρησιμοποιήσουμε συναρτήσεις από το package stringr για να καθαρίσουμε ή να προεπεξεργαστούμε τα δεδομένα, είτε πριν είτε μετά την εφαρμογή του αλγορίθμου Apriori.

Στη συνέχεια, εξάγουμε τις σχετικές μετρικές (όπως το support και το confidence) από το object rules_movies, χρησιμοποιώντας τον operator @ και προσπελαύνοντας το slot quality, το οποίο είναι απλώς ένα συστατικό του object rules_movies που περιέχει ένα data frame με μία γραμμή ανά κανόνα και μία στήλη για κάθε μέτρο:

# Εξαγωγή των μετρικών
metrics <- rules_movies@quality

Τέλος, συνδυάζουμε όλα τα συστατικά που εξαγάγαμε σε ένα ενιαίο, τακτοποιημένο data frame, χρησιμοποιώντας τις συναρτήσεις tibble() και bind_cols(), όπως φαίνεται παρακάτω:

# Συνδυασμός των αποτελεσμάτων σε ένα tibble
output <- tibble(lhs = itemset_X,
                 rhs = itemset_Y) %>%
  bind_cols(metrics)

# Εμφάνιση των αποτελεσμάτων
output
# A tibble: 18 × 7
   lhs              rhs   support confidence coverage  lift count
   <chr>            <chr>   <dbl>      <dbl>    <dbl> <dbl> <int>
 1 {Lord of the Ri… {Lor…    0.35      1         0.35  2.22    35
 2 {Lord of the Ri… {Lor…    0.35      1         0.35  2.63    35
 3 {Lord of the Ri… {Lor…    0.35      0.921     0.38  2.56    35
 4 {Lord of the Ri… {Lor…    0.31      1         0.31  2.63    31
 5 {Lord of the Ri… {Lor…    0.31      0.939     0.33  2.61    31
 6 {Lord of the Ri… {Lor…    0.31      1         0.31  2.22    31
 7 {Lord of the Ri… {Lor…    0.33      1         0.33  2.22    33
 8 {Jurassic Park,… {Mat…    0.3       0.909     0.33  1.52    30
 9 {Star Wars: Epi… {Mat…    0.34      0.944     0.36  1.57    34
10 {Matrix, The,St… {Sta…    0.34      0.944     0.36  2.15    34
11 {Fight Club,Pul… {Sil…    0.34      0.919     0.37  1.84    34
12 {Fight Club,Sil… {Pul…    0.34      0.919     0.37  1.96    34
13 {Back to the Fu… {Mat…    0.3       0.938     0.32  1.56    30
14 {Forrest Gump,S… {Mat…    0.31      0.939     0.33  1.57    31
15 {Back to the Fu… {Mat…    0.31      0.939     0.33  1.57    31
16 {Lord of the Ri… {Lor…    0.31      1         0.31  2.22    31
17 {Lord of the Ri… {Lor…    0.31      1         0.31  2.63    31
18 {Lord of the Ri… {Lor…    0.31      0.939     0.33  2.61    31

Η δημιουργία data frames

Ένας άλλος τρόπος να δημιουργήσουμε ένα data frame θα ήταν με τη χρήση της συνάρτησης as(). Ωστόσο, η πρώτη στήλη του data frame που θα δημιουργούσαμε θα είχε τη μορφή \(X \to Y\), κάτι που σημαίνει ότι θα χρειαζόταν να προσθέσουμε ξανά τις στήλες των επιμέρους προϊόντων με τις συναρτήσεις lhs(), rhs() και labels().

Lift και ορισμός των κανόνων συσχέτισης

Ορίζοντας το όρισμα target ίσο με "rules", δημιουργούνται τρεις επιπλέον στήλες: οι confidence, lift και coverage. Όπως συζητήθηκε προηγουμένως, το confidence αναπαριστά τη δεσμευμένη πιθανότητα να επιλεγεί το itemset της δεξιάς πλευράς (consequent), δεδομένου ότι έχει επιλεγεί το itemset της αριστερής πλευράς (antecedent). Το coverage (κάλυψη) αναφέρεται στην αναλογία των συναλλαγών που περιέχουν το antecedent (το itemset της αριστερής πλευράς). Με πιο απλά λόγια, αντανακλά πόσο συχνά μπορεί να εφαρμοστεί ο κανόνας και είναι το support του antecedent από μόνο του. Τέλος, το lift (ανύψωση) είναι μια ιδιαίτερα κατατοπιστική μετρική. Το lift ορίζεται ως το support του από κοινού itemset (\(X\), \(Y\)) διαιρεμένο με το γινόμενο των επιμέρους support των \(X\) και \(Y\). Ποσοτικοποιεί πόσο πιο πιθανό είναι να αγοραστεί το προϊόν \(Y\), δεδομένου ότι έχει ήδη αγοραστεί το προϊόν \(X\), σε σχέση με τη συνολική πιθανότητα αγοράς του \(Y\).

Ο τύπος του lift είναι ο εξής:

\[\text{Lift}(X \to Y) = \text{Lift}(Y \to X) = \frac{\text{Support}(X, Y)}{\text{Support}(X) \times \text{Support}(Y)} = \frac{N \times \text{Frequency}(X, Y)}{\text{Frequency}(X) \times \text{Frequency}(Y)}\]

Σε αντίθεση με το confidence, το lift είναι συμμετρικό, δηλαδή η κατεύθυνση του κανόνα δεν έχει σημασία:

\[\text{Lift}(X \to Y) = \text{Lift}(Y \to X)\]

Είναι σημαντικό ότι τιμές του lift μεγαλύτερες από 1 δείχνουν θετική συσχέτιση (positive association) μεταξύ του antecedent και του consequent: η παρουσία του ενός αυξάνει την πιθανότητα να εμφανιστεί το άλλο (Tan et al., 2019· Han, Kamber, & Pei, 2012). Στο τρέχον αποτέλεσμά μας, και οι 18 κανόνες συσχέτισης έχουν lift μεγαλύτερο από 1, κάτι που υποδηλώνει ότι κάθε κανόνας αντανακλά μια ουσιαστική συσχέτιση. Όσο υψηλότερο είναι το lift, τόσο ισχυρότερη είναι η σχέση μεταξύ των προϊόντων. Ωστόσο, επειδή το lift προκύπτει τόσο από το support όσο και από το confidence, τα κατώφλια που ορίζονται για αυτές τις δύο μετρικές επηρεάζουν άμεσα ποιοι κανόνες δημιουργούνται και τις αντίστοιχες τιμές του lift. Η προσαρμογή αυτών των κατωφλίων θα επηρεάσει επομένως τους κανόνες που προκύπτουν και τη σχετική τους ισχύ.

Κανόνες για συγκεκριμένα itemsets

Όπως ακριβώς μπορούμε να ορίσουμε έναν ελάχιστο αριθμό προϊόντων σε ένα itemset, μπορούμε επίσης να περιορίσουμε την ανάλυσή μας σε κανόνες που περιλαμβάνουν συγκεκριμένα προϊόντα. Συγκεκριμένα, μπορούμε να ορίσουμε ότι ένα συγκεκριμένο προϊόν πρέπει να εμφανίζεται στην αριστερή πλευρά (lhs) ή στη δεξιά πλευρά (rhs) του κανόνα συσχέτισης. Για παράδειγμα, για να δημιουργήσουμε κανόνες όπου το “The Matrix” εμφανίζεται στη δεξιά πλευρά, μπορούμε να χρησιμοποιήσουμε το προαιρετικό όρισμα appearance και να ορίσουμε το rhs ίσο με την ταινία που μας ενδιαφέρει:

# Αλγόριθμος Apriori - Κανόνες για το "Matrix, The"
matrix_rules <- apriori(movies_tr,
                   parameter = list(
                     support = 0.3,
                     conf = 0.9,
                     minlen = 3,
                     target = "rules"
                   ),
                   appearance = list(
                    rhs = "Matrix, The"))

# Συνδυασμός των αποτελεσμάτων σε ένα tibble
tibble(lhs = labels(lhs(matrix_rules)),
       rhs = labels(rhs(matrix_rules))) %>%
  bind_cols(matrix_rules@quality)

Όπως αναμενόταν, δημιουργούνται μόνο κανόνες που έχουν το "Matrix, The" στη δεξιά πλευρά, αφού ορίσαμε ρητά αυτή τη συνθήκη. Τα itemsets της αριστερής πλευράς μπορούν να «ανυψώσουν» σημαντικά την πιθανότητα να επιλεγεί το "Matrix, The", με τιμή lift περίπου 1.5. Με βάση αυτές τις πληροφορίες, θα μπορούσαμε να προτείνουμε την ταινία The Matrix σε χρήστες που παρακολούθησαν τα Star Wars: Episode IV – A New Hope και Star Wars: Episode V – The Empire Strikes Back.

Περιττοί κανόνες

Όταν χρησιμοποιούμε τον αλγόριθμο Apriori για να δημιουργήσουμε κανόνες συσχέτισης, το αποτέλεσμα συχνά περιλαμβάνει όλους τους πιθανούς κανόνες, πολλοί από τους οποίους μπορεί να είναι περιττοί ή απλώς μη κατατοπιστικοί.

Ένας περιττός κανόνας (redundant rule) είναι ένας κανόνας που δεν προσφέρει πρόσθετη πληροφορία, επειδή ένας γενικότερος κανόνας αποτυπώνει ήδη τη σχετική συμπεριφορά με το ίδιο ή υψηλότερο confidence. Για παράδειγμα, ας υποθέσουμε ότι μας ενδιαφέρει να εντοπίσουμε αν ένας οδηγός είναι παραβατικός. Ένας κανόνας όπως «ένας οδηγός που περνά ένα κόκκινο φανάρι σταματιέται από την αστυνομία» περιγράφει ήδη παραβατική συμπεριφορά. Αν στη συνέχεια προσθέσουμε έναν πιο ειδικό κανόνα — «ένας οδηγός που περνά δύο κόκκινα φανάρια σταματιέται» — αυτό δεν προσθέτει νέα πληροφορία για το ερώτημά μας, αφού η παραβατικότητα έχει ήδη τεκμηριωθεί με την πρώτη παράβαση. Σε αυτό το πλαίσιο, ο δεύτερος κανόνας είναι περιττός. Ωστόσο, αν το επίκεντρο της ανάλυσης ήταν η έντασή της παραβατικότητας (πόσο συχνά ή πόσο σοβαρά παραβιάζει ο οδηγός τους κανόνες), τότε ο δεύτερος κανόνας δεν θα ήταν πλέον περιττός, καθώς προσφέρει πρόσθετη πληροφορία για τον βαθμό της παραβατικής συμπεριφοράς.

Γενικά, τα χαμηλότερα κατώφλια για το support και το confidence αυξάνουν την πιθανότητα να δημιουργηθούν περιττοί κανόνες. Η αφαίρεση αυτών των περιττών κανόνων οδηγεί σε ένα πιο συνοπτικό και ουσιαστικό σύνολο συσχετίσεων, βελτιώνοντας την εγκυρότητα της ανάλυσης καλαθιού αγορών. Από επιχειρηματική σκοπιά, οι προτάσεις προϊόντων πρέπει να είναι στοχευμένες και σχετικές. Η αποφυγή περιττών επαναλήψεων βελτιώνει την εμπειρία του πελάτη και αυξάνει την αποτελεσματικότητα των στρατηγικών cross-selling.

Ας εντοπίσουμε και ας αφαιρέσουμε τους περιττούς κανόνες από το τρέχον αποτέλεσμά μας. Ευτυχώς, το package arules διαθέτει αυτή την ανάλυση ενσωματωμένη: μπορούμε να χρησιμοποιήσουμε τη συνάρτηση is.redundant(). Για να το δείξουμε, δημιουργούμε ένα σύνολο κανόνων συσχέτισης με κατώφλι confidence 60%, τουλάχιστον 2 προϊόντα ανά κανόνα (δηλαδή τουλάχιστον μία ταινία στην αριστερή πλευρά) και την ταινία “Matrix, The” στη δεξιά πλευρά:

# Αλγόριθμος Apriori - Κανόνες για το "Matrix, The"
matrix_rules <- apriori(movies_tr,
                        parameter = list(supp = 0.3,
                                         conf = 0.6,
                                         minlen = 2,
                                        target = "rules"),
                        appearance = list(rhs = "Matrix, The"))

# Εκτύπωση του αριθμού των κανόνων
matrix_rules

# Συνδυασμός των αποτελεσμάτων σε ένα tibble
output <- tibble(lhs = labels(lhs(matrix_rules)),
                 rhs = labels(rhs(matrix_rules))) %>%
  bind_cols(matrix_rules@quality)

Αφού προσαρμόσαμε αυτές τις παραμέτρους, έχουμε τώρα 42 κανόνες αντί για 5. Για να ελέγξουμε αν υπάρχουν περιττοί κανόνες, εφαρμόζουμε την is.redundant(), η οποία επιστρέφει TRUE για τους περιττούς κανόνες και FALSE διαφορετικά. Επειδή στην R το TRUE αντιμετωπίζεται ως 1 και το FALSE ως 0, μπορούμε να αθροίσουμε τα αποτελέσματα για να μετρήσουμε τους περιττούς κανόνες:

# Εκτύπωση του αριθμού των περιττών κανόνων
matrix_rules %>% is.redundant() %>% sum()
[1] 2

Το αποτέλεσμα είναι 2, κάτι που δείχνει ότι υπάρχουν δύο περιττοί κανόνες. Ας εξετάσουμε αυτούς τους κανόνες, φιλτράροντας το αποτέλεσμα με βάση τις θέσεις που υποδεικνύει η is.redundant():

# Εύρεση των περιττών κανόνων
output[matrix_rules %>% is.redundant(), ]
# A tibble: 2 × 7
  lhs               rhs   support confidence coverage  lift count
  <chr>             <chr>   <dbl>      <dbl>    <dbl> <dbl> <int>
1 {Lord of the Rin… {Mat…    0.33      0.868     0.38  1.45    33
2 {Lord of the Rin… {Mat…    0.31      0.886     0.35  1.48    31
# Εκτύπωση των πλήρων ονομάτων
output[matrix_rules %>% is.redundant(), ] %>%
  pull(lhs)
[1] "{Lord of the Rings: The Fellowship of the Ring, The,Lord of the Rings: The Two Towers, The}"                                               
[2] "{Lord of the Rings: The Fellowship of the Ring, The,Lord of the Rings: The Return of the King, The,Lord of the Rings: The Two Towers, The}"

Παρόλο που αυτοί οι κανόνες έχουν lift μεγαλύτερο από 1, παραμένουν περιττοί:

  • Αν επιλεγούν οι ταινίες The Lord of the Rings: The Fellowship of the Ring και The Lord of the Rings: The Two Towers, τότε είναι πιθανό να επιλεγεί και το The Matrix.

  • Αν επιλεγούν οι ταινίες The Lord of the Rings: The Fellowship of the Ring, The Lord of the Rings: The Two Towers και The Lord of the Rings: The Return of the King, τότε είναι πιθανό να επιλεγεί και το The Matrix.

Γιατί είναι περιττοί αυτοί οι κανόνες; Ας επιλέξουμε τους κανόνες που περιέχουν ταινίες από τη σειρά The Lord of the Rings και ας τους ταξινομήσουμε κατά φθίνουσα σειρά lift:

# Επιλογή των κανόνων που περιέχουν "Lord of the Rings"
output %>%
  filter(str_detect(lhs, "Lord of the Rings")) %>%
  arrange(desc(lift)) %>%
  slice(1:10) %>%
  select(lhs, rhs, lift)
# A tibble: 8 × 3
  lhs                                                 rhs    lift
  <chr>                                               <chr> <dbl>
1 {Lord of the Rings: The Return of the King, The,Lo… {Mat…  1.48
2 {Lord of the Rings: The Fellowship of the Ring, Th… {Mat…  1.48
3 {Lord of the Rings: The Fellowship of the Ring, Th… {Mat…  1.48
4 {Fight Club,Lord of the Rings: The Fellowship of t… {Mat…  1.47
5 {Lord of the Rings: The Two Towers, The}            {Mat…  1.45
6 {Lord of the Rings: The Fellowship of the Ring, Th… {Mat…  1.45
7 {Lord of the Rings: The Return of the King, The}    {Mat…  1.44
8 {Lord of the Rings: The Fellowship of the Ring, Th… {Mat…  1.37
# Εκτύπωση των πλήρων ονομάτων
output %>%
  filter(str_detect(lhs, "Lord of the Rings")) %>%
  arrange(desc(lift)) %>%
  slice(1:10) %>%
  pull(lhs)
[1] "{Lord of the Rings: The Return of the King, The,Lord of the Rings: The Two Towers, The}"                                                   
[2] "{Lord of the Rings: The Fellowship of the Ring, The,Lord of the Rings: The Return of the King, The}"                                       
[3] "{Lord of the Rings: The Fellowship of the Ring, The,Lord of the Rings: The Return of the King, The,Lord of the Rings: The Two Towers, The}"
[4] "{Fight Club,Lord of the Rings: The Fellowship of the Ring, The}"                                                                           
[5] "{Lord of the Rings: The Two Towers, The}"                                                                                                  
[6] "{Lord of the Rings: The Fellowship of the Ring, The,Lord of the Rings: The Two Towers, The}"                                               
[7] "{Lord of the Rings: The Return of the King, The}"                                                                                          
[8] "{Lord of the Rings: The Fellowship of the Ring, The}"                                                                                      

Ο πρώτος κανόνας είναι περιττός, επειδή υπάρχει ήδη ένας απλούστερος κανόνας με υψηλότερο lift: αν ένας χρήστης επιλέξει μόνο το The Lord of the Rings: The Two Towers (γραμμή 5), τότε είναι πιθανό να επιλεγεί και το The Matrix. Ο δεύτερος κανόνας είναι περιττός, επειδή υπάρχει ήδη ένας απλούστερος κανόνας με υψηλότερο lift: αν ένας χρήστης επιλέξει μόνο τα The Lord of the Rings: The Fellowship of the Ring και The Lord of the Rings: The Return of the King (γραμμή 2), τότε είναι πιθανό να επιλεγεί και το The Matrix.

Για να αφαιρέσουμε τους περιττούς κανόνες, χρησιμοποιούμε λογική δεικτοδότηση (logical indexing) στην R, κρατώντας μόνο τους μη περιττούς κανόνες:

# Αφαίρεση των περιττών κανόνων από το τελικό αποτέλεσμα
output <- output[!matrix_rules %>% is.redundant(), ]

# Εμφάνιση των αποτελεσμάτων
output %>% nrow()
[1] 40

Ο αριθμός των κανόνων μειώθηκε κατά δύο, κάτι που επιβεβαιώνει ότι οι περιττοί κανόνες αφαιρέθηκαν με επιτυχία.

Πλεονεκτήματα και περιορισμοί

Η ανάλυση καλαθιού αγορών (MBA) είναι μια απλή και αποτελεσματική μέθοδος εξόρυξης δεδομένων για την κατανόηση της συμπεριφοράς των πελατών και την αύξηση του ενδιαφέροντος για τα προϊόντα μιας εταιρείας. Μπορεί να επιβεβαιώσει διαισθητικά μοτίβα (όπως ότι οι πελάτες που αγοράζουν έναν φορητό υπολογιστή συχνά αγοράζουν και ένα πληκτρολόγιο), επικυρώνοντας υποθέσεις και ενισχύοντας επιχειρηματικές στρατηγικές. Ταυτόχρονα, ορισμένοι κανόνες μπορεί αρχικά να φαίνονται απρόσμενοι ή ακόμη και τυχαίοι. Για παράδειγμα, οι πελάτες που αγοράζουν έναν νέο φορητό υπολογιστή μπορεί να αγοράζουν και ένα ποδήλατο. Αν και αυτή η συσχέτιση μπορεί αρχικά να φαίνεται συμπτωματική, θα μπορούσε να αντανακλά μια υποκείμενη συμπεριφορά που δεν είναι αμέσως προφανής, όπως φοιτητές που μετακομίζουν σε μια νέα πόλη και υιοθετούν έναν νέο τρόπο ζωής. Αυτό αναδεικνύει τη σημασία της κριτικής αξιολόγησης των κανόνων συσχέτισης, συνδυάζοντας τη γνώση του αντικειμένου με στατιστικές μετρικές όπως το support, το confidence και το lift.

Παρά τη χρησιμότητα και την εύκολη υλοποίησή της, η MBA έχει αρκετούς περιορισμούς. Πρώτον, εντοπίζει συσχετίσεις και όχι σχέσεις αιτίου-αποτελέσματος, οπότε οι συσχετίσεις πρέπει να ερμηνεύονται με προσοχή (Han et al., 2012). Η MBA επίσης συνήθως αγνοεί τις ποσότητες, εστιάζοντας μόνο στο αν τα προϊόντα αγοράζονται μαζί, κάτι που μπορεί να περιορίσει τα πρακτικά συμπεράσματα. Ορισμένοι κανόνες, αν και στατιστικά ισχυροί, μπορεί να είναι άσχετοι για τις επιχειρηματικές αποφάσεις ή απλώς να επιβεβαιώνουν κάτι ήδη προφανές, προσφέροντας λίγη νέα πληροφορία, ιδίως σε μικρά σύνολα δεδομένων (Lantz, 2023). Επιπλέον, οι περισσότεροι πελάτες μπορεί να μην ανταποκρίνονται στις προτάσεις, οπότε ακόμη και έγκυρα μοτίβα μπορεί να μη μεταφραστούν σε πραγματικές πωλήσεις. Τέλος, σε μεγάλα σύνολα δεδομένων, η MBA μπορεί να δημιουργήσει τεράστιο αριθμό κανόνων, κάτι που δυσκολεύει τον εντοπισμό αξιοποιήσιμων συμπερασμάτων. Για παράδειγμα, σε ένα σούπερ μάρκετ, ο τεράστιος αριθμός πιθανών σχετικών συσχετίσεων μεταξύ προϊόντων μπορεί να δυσκολέψει τον σχεδιασμό αποτελεσματικών προτάσεων και τη βελτιστοποίηση της διάταξης των ραφιών (Agrawal & Srikant, 1994).

Για να μετατραπούν τα ευρήματα της MBA σε αξιοποιήσιμα συμπεράσματα, η εστίαση πρέπει να είναι σε κανόνες που είναι τόσο στατιστικά ουσιώδεις όσο και πρακτικά σχετικοί. Σε πραγματικές εφαρμογές, οι επιχειρήσεις μπορούν να χρησιμοποιήσουν την ανάλυση καλαθιού αγορών για να βελτιστοποιήσουν την τοποθέτηση των προϊόντων στα φυσικά καταστήματα, να προσαρμόσουν τις προτάσεις στις πλατφόρμες ηλεκτρονικού εμπορίου και να σχεδιάσουν στοχευμένες προωθητικές ενέργειες ή εκπτώσεις σε πακέτα προϊόντων. Ο τελικός στόχος δεν είναι απλώς η ανακάλυψη μοτίβων, αλλά η εφαρμογή τους με τρόπους που βελτιώνουν την εμπειρία του πελάτη και οδηγούν την επιχείρηση στην επιτυχία.

Ανακεφαλαίωση

Η ανάλυση καλαθιού αγορών (MBA) είναι μια απλή και αποτελεσματική μέθοδος εξόρυξης δεδομένων για την κατανόηση της αγοραστικής συμπεριφοράς των πελατών και τη βελτίωση των προτάσεων προϊόντων. Βοηθά τις επιχειρήσεις να εντοπίζουν μοτίβα στις συναλλαγές, τα οποία μπορούν να χρησιμοποιηθούν για καλύτερη τοποθέτηση των προϊόντων, σταυροειδείς πωλήσεις και στοχευμένες προωθητικές ενέργειες. Για να εφαρμόσουμε την MBA στην πράξη, χρησιμοποιούμε συχνά τον αλγόριθμο Apriori, ο οποίος βρίσκει αποτελεσματικά κανόνες συσχέτισης υπολογίζοντας το support, το confidence και το lift, ακόμη και σε μεγάλα σύνολα δεδομένων. Αν και η MBA μπορεί να αποκαλύψει τόσο διαισθητικά μοτίβα όσο και λιγότερο προφανείς συσχετίσεις, έχει περιορισμούς: δείχνει συσχετίσεις και όχι αιτιότητα, αγνοεί τις ποσότητες των αγορών και μπορεί να δημιουργήσει υπερβολικά πολλούς κανόνες, ορισμένοι από τους οποίους μπορεί να είναι περιττοί ή άχρηστοι. Το κλειδί είναι να εστιάζουμε σε κανόνες που είναι τόσο στατιστικά ουσιαστικοί όσο και πρακτικά σχετικοί, ώστε τα μοτίβα να μπορούν πραγματικά να τεκμηριώνουν αποφάσεις και να βελτιώνουν την εμπειρία του πελάτη.